Subliminal Clocks: Latent Time Modelling in Diffusion Language Models
潜隐时钟:扩散语言模型中的隐式时间建模
🧭 扩散语言模型的可解释性分析
Sapienza University of Rome · EPFL · NVIDIA
发现无显式时间条件的扩散语言模型内部编码了隐式去噪时间步,可通过探针提取和方向操控来调制模型行为
📌 工作参考价值(4 点)
- 对于使用扩散模型生成推荐内容(如GenRec)的场景,可借鉴隐式时间步操控来动态调节生成的确定性与多样性:沿时间步子空间方向移动可改变模型置信度,实现从保守推荐到探索式推荐的切换。
- 工程实现上,可在推理时通过简单的激活向量加法(无须重新训练)来控制生成进度,用于A/B测试或个性化生成风格。
- 探针方法可用于监控线上模型的去噪状态,例如检测异常生成或提前终止去噪步骤以节省计算。
- 若将扩散步骤与推荐质量关联,可利用隐式时间步表征设计自适应调度策略,在低延迟场景下跳过部分去噪步骤。